AgenticGen: Reward-Guided Agentic Video Generation for Advertising
奖励引导的 Agentic 广告视频生成框架
🧭 Agentic 生成 · 在线反馈 RL ★ 深度解读
ByteDance · Tsinghua University · The Chinese University of Hong Kong
将广告视频生成拆成策略选择与草稿生成，用在线反馈训练性能与质量奖励并通过DPO+GRPO优化，在TikTok显著提升CTR/CVR/Advv
📌 工作参考价值（4 点）
- 拆解生成管线，给业务反馈提供可优化抓手：不要端到端直接出最终创意，而是拆成「策略选择 + 草稿生成」两个阶段，分别用 process reward 和 outcome reward 监督。做电商广告文案/短视频生成时可借鉴：先让模型选择「改 BGM/加 hook/混剪」等策略，再生成具体脚本，使线上 CTR/CVR 能分别指导中间决策和最终内容。
- 用公平曝光管道收集偏好数据：自然流量中创意的 CTR 混杂召回/排序偏置，AgenticGen 采用同一产品下 N=12 个候选随机曝光、绕过排序、至少 1000 曝光才有效的 impression-balanced 管道。创意优选和生成式广告系统的 reward 建模都应优先采用此类剥离偏置的数据协议，再构造同产品上下文内的 pairwise BT 偏好。
- 性能 reward 与质量 rubric 必须互补：单独用 CTR 学 reward 容易偏向 clickbait；引入专家 rubric 并用「三人一致才保留」的人工标注训练质量 reward，GRPO 融合权重（文中 λ_draft=0.6 偏性能）可同时保住在线效果和创作质量。业务上可复制：在线指标 reward + 平台内容规范 reward 一起进 RL。
- 多模态特征工程与稳定训练 trick：性能 reward 输入视频帧、音频/ASR、结构化故事线、广告特征；音频带来最大单点增益（+1.88%）。DPO 加 NLL 正则（λ=0.2）防格式崩坏，GRPO 中多 reward min-max 归一化并用 group-relative advantage；这些都可直接迁移到广告创意生成和评估。